Validation of surgical care quality indicators in the Brazilian Unified Health System / Validação de indicadores de qualidade do cuidado cirúrgico no Sistema Único de Saúde

ABSTRACT OBJECTIVE To validate a set of indicators for monitoring the quality of surgical procedures in the Brazilian Unified Health System (SUS). METHODS Validation study developed in 5 stages: 1) literature review; 2) prioritization of indicators; 3) content validation of indicators by RAND/UCLA consensus method; 4) pilot study for reliability analysis; and 5) development of instruction for tabulation of outcome indicators for monitoring via official information systems. RESULTS From the literature review, 217 indicators of surgical quality were identified. The excluded indicators were: those based on scientific evidence lower than 1A, similar, specific, which corresponded to sentinel events; and those that did not apply to the SUS context. Twenty-six indicators with a high level of scientific evidence were submitted to expert consensus. Twenty-two indicators were validated, of which 14 process indicators and 8 outcome indicators with content validation index ≥80%. Of the validated process indicators, 6 were considered substantially reliable (Kappa coefficient between 0.6 and 0.8; p < 0.05) and 2 had almost perfect reliability (Kappa coefficient > 0.8, p < 0.05), when the inter-rater agreement was analyzed. One could measure and establish tabulation mechanism for TabWin for 7 outcome indicators. CONCLUSION The study contributes to the development of a set of potentially effective surgical indicators for monitoring the quality of care and patient safety in SUS hospital services.

RESUMO OBJETIVO Validar um conjunto de indicadores para monitoramento da qualidade dos procedimentos cirúrgicos no Sistema Único de Saúde (SUS). MÉTODOS Estudo de validação desenvolvido em 5 etapas: 1) revisão de literatura; 2) priorização de indicadores; 3) validação de conteúdo dos indicadores por método de consenso RAND/UCLA; 4) estudo piloto para análise da confiabilidade; e 5) desenvolvimento de instrutivo para tabulação dos indicadores de resultado para monitoramento via sistemas de informações oficiais. RESULTADOS A partir da revisão de literatura, foram identificados 217 indicadores de qualidade cirúrgica. Os indicadores excluídos foram: indicadores baseados em evidências científicas inferiores a 1A, similares, específicos, que correspondiam a eventos sentinelas; e aqueles que não se aplicavam ao contexto do SUS. Foram submetidos ao consenso de especialistas 26 indicadores com alto nível de evidência científica. Foram validados 22 indicadores, dos quais 14 indicadores de processo e 8 indicadores de resultado com índice de validação de conteúdo ≥80%. Dos indicadores de processo validados, 6 foram considerados confiáveis substancialmente (Coeficiente de Kappa entre 0,6 e 0,8; p < 0,05) e 2 tiveram confiabilidade quase perfeita (coeficiente de Kappa > 0,8, p < 0,05), quando analisada a concordância interavaliador. Foi possível mensurar e estabelecer mecanismo de tabulação para TabWin para 7 indicadores de resultado. CONCLUSÃO O estudo contribui com o desenvolvimento de um conjunto de indicadores cirúrgicos potencialmente eficazes para o monitoramento da qualidade do cuidado e segurança do paciente nos serviços hospitalares do SUS.

AGRASS Questionnaire: Assessment of Risk Management in Health Care.

OBJECTIVE: This study aims to assess the development and the validity analysis of the Assessment of Risk Management in Health Care Questionnaire (AGRASS). METHODS: This is a validation study of a measurement instrument following the stages: 1) Development of conceptual model and items; 2) Formal multidisciplinary assessment; 3) Nominal group for validity analysis with national specialists; 4) Development of software and national pilot study in 62 Brazilian hospitals 5) Delphi for validity analysis with the users of the questionnaire. In stages 3 and 5, the items were judged based on face validity, content validity, and utility and viability, by a 1-7 Likert scale (cut-off point: median < 6). Accuracy and reliability of the questionnaire were analyzed with the Confirmatory Factor Analysis and the Cronbach's alpha. RESULTS: The initial version of the instrument (98 items) was adapted during stages 1 to 3 for the final version with 40 items, which were considered relevant, of adequate content, useful, and viable. The instrument has 2 dimensions and 9 subdimensions, and the items have closed-ended questions (yes or no). The software for the automatic collection and analysis generates indicators, tables, and automatic graphs for the assessed institution and aggregated data. The adjustment indices confirmed a bi-dimensional model composed of structure and process (X2/gl = 1.070, RMSEA ≤ 0.05 = 0.847, TLI = 0.972), with high reliability for the AGRASS Questionnaire (α = 0.94) and process dimension (α = 0.93), and adequate for the structural dimension (α = 0.70). CONCLUSIONS: The AGRASS Questionnaire is a potentially useful instrument for the surveillance and monitoring of the risk management and patient safety in health services.

Agrass questionnaire: Assessment of risk management in health care / Questionário agrass: Avaliação da gestão de riscos assistenciais em serviços de saúde

ABSTRACT OBJECTIVE This study aims to assess the development and the validity analysis of the Assessment of Risk Management in Health Care Questionnaire (AGRASS). METHODS This is a validation study of a measurement instrument following the stages: 1) Development of conceptual model and items; 2) Formal multidisciplinary assessment; 3) Nominal group for validity analysis with national specialists; 4) Development of software and national pilot study in 62 Brazilian hospitals 5) Delphi for validity analysis with the users of the questionnaire. In stages 3 and 5, the items were judged based on face validity, content validity, and utility and viability, by a 1-7 Likert scale (cut-off point: median < 6). Accuracy and reliability of the questionnaire were analyzed with the Confirmatory Factor Analysis and the Cronbach's alpha. RESULTS The initial version of the instrument (98 items) was adapted during stages 1 to 3 for the final version with 40 items, which were considered relevant, of adequate content, useful, and viable. The instrument has 2 dimensions and 9 subdimensions, and the items have closed-ended questions (yes or no). The software for the automatic collection and analysis generates indicators, tables, and automatic graphs for the assessed institution and aggregated data. The adjustment indices confirmed a bi-dimensional model composed of structure and process (X2/gl = 1.070, RMSEA ≤ 0.05 = 0.847, TLI = 0.972), with high reliability for the AGRASS Questionnaire (α = 0.94) and process dimension (α = 0.93), and adequate for the structural dimension (α = 0.70). CONCLUSIONS The AGRASS Questionnaire is a potentially useful instrument for the surveillance and monitoring of the risk management and patient safety in health services.

RESUMO OBJETIVO O estudo objetiva descrever a construção e análise da validade do Questionário Avaliação da Gestão de Riscos Assistenciais em Serviços de Saúde (AGRASS). MÉTODOS Trata-se de estudo de validação de um instrumento de medida nas etapas: 1. construção do modelo conceitual e itens; 2. apreciação formal multidisciplinar; 3. grupo nominal para análise da validade com especialistas da esfera nacional; 4. desenvolvimento de softwares e estudo-piloto nacional em 62 hospitais do Brasil; 5. Delphi para análise da validade com utilizadores do questionário. Nas etapas 3 e 5, os itens foram julgados quanto à validade de face e conteúdo, utilidade e viabilidade, em uma escala Likert de 1 a 7 (ponto de corte: mediana < 6). A validade de construto e a confiabilidade foram analisadas com análise fatorial confirmatória e coeficientes α de Cronbach. RESULTADOS A versão inicial do instrumento (98 itens) foi adaptada durante as etapas 1 a 3 para a versão com 40 itens considerados relevantes, de conteúdo adequado, úteis e viáveis. O instrumento tem duas dimensões e nove subdimensões, e os itens têm opção de resposta fechada (sim ou não). Os softwares para coleta e análise automática geram indicadores, tabelas e gráficos automáticos para a instituição avaliada e conjuntos agregados. Os índices de ajuste confirmaram o modelo bidimensional de estrutura e processo (X2/gl = 1,070, RMSEA ≤ 0,05 = 0,847; TLI = 0,972), havendo confiabilidade alta para o Questionário AGRASS (α = 0,94) e a dimensão processo (α = 0,93) e aceitável para a dimensão estrutura (α = 0,70). CONCLUSÃO O Questionário AGRASS é um instrumento potencialmente útil para a vigilância e monitoramento da gestão de riscos e segurança do paciente em serviços de saúde.